WTMO-dev
AI
CV
basic
DL
basic
ML
basic
NLP
basic
dspy
hugging face
llama index
ollama
C++
basic
COMPUTER SCIENCE
basic
ETC
GIT
Blog
basic
IDE
VSC
python
setting
JAVA
basic
MATH
Basic
Statistic
NETWORK
basic
OS
Window
WSL
basic
basic
PROJECT
PYTHON
Advance
Basic
Framework
Django
FastAPI
Library
Module
Home
PROJECT PRACTICE
Crawling
EDA
Kaggle
Python
CV
Contact
Copyright © 2024
WTMO-dev
Home
>
AI
>
NLP
> hugging face
Now Loading ...
hugging face
Hugging face intro
How to start 우선 허깅페이스에 가입을 해야합니다. Hugging face 가입을 하고나면 아래와 같은 설명이 나옵니다. Authentication 홈페이지 가입이후 이메일의 인증을 해줘야하며, 인증을 완료하면 아래과 같이 organization을 설정할 수 있다. 이미 존재하는 organization에 가입하거나 직접 만들어주면 된다. 이메일 인증 이후 setting에서 Authentication에 접근하면 아래와 같이 세팅을 할 수 있다. 2FA 세팅에는 google에서 제공하는 Authentication 어플을 활용하여 진행이 가능하다. create personal repository 홈페이지에서 관리할 수 있지만 CLI를 통하여 아래와 같이 관리가 가능하다. 홈페이지 setting에서 Access Tokens에 접근하면 token을 생성할 수 있습니다. token은 읽기용 쓰기용 2가지로 나뉘어 진다. 서버에서 가져와서 활용할때는 read, 서버에 등록할때는 write를 활용하면 됩니다. {% highlight shell %} pip install huggingface_hub huggingface-cli login huggingface-cli repo create --type {model, dataset, space} {% endhighlight %} use personal repository 개인 레포지토리를 사용하려면 아래와 같이 가져와서 git과 같이 활용하면 됩니다. {% highlight shell %} git lfs install git clone https://huggingface.co// {% endhighlight %} use hugging face model 코드상으로 huggingface를 활용하려면 아래와 같은 폼을 활용하면 활용이 가능하다. 자세한 방법은 각각의 모델과 토크나이저를 업로드한 organization을 확인하면 됩니다. {% highlight shell %} from transformers import AutoModelForCausalLM, AutoTokenizer REPO_ID = “” FILENAME = “” model_id = f”{REPO_ID}/{FILENAME}” model = AutoModelForCausalLM.from_pretrained(model_id) tokenizer = AutoTokenizer.from_pretrained(model_id) {% endhighlight %}
AI
/
NLP
/
hugging face
· 2024-03-04
<
>
Touch background to close
WTMO-dev
